Lai arī valodu modeļu skaitļošanas tehnoloģija (tas pats mākslīgais intelekts) ir resursu prasīga un plašākai tautai asociējas ar interneteta servisiem ChatGPT, Gemini, CoPilot u.tml. , tomēr to pamatā esošie valodu modeļi IT pasaulē ir ļoti daudz. Tie var būt arī šaurāk pielāgoti kādiem uzdevumiem un mazāk prasīgi pret aparatūras skaitļošanas un atmiņas resursiem. T.i. ir pietiekami daudz iespēju un variantu tos darbināt pie sevis mājās.
Šis tika saprasts, jau kādu labu laiciņu atpakaļ un ideja kaut kur personiskā bioloģiskā procesora fonā gaidīja savu laiku. Līdz kopējais IT nemiers lika izķert vienu lietotu servera skapi, kam komplektā nāca servera kaste-korpuss, kas paredzēts drizāk parastu datoru iebūvēšanai un darbināšanai, kā serveri.
Tas savukārt atdzīvināja veco ideju par savu MI kasti, jo kaut kur plauktā mētājās no izbijuša spēļu datora ryzen5 4c(8t) procesors, 16gb atmiņa, un tāds jaudīgāks baroklis. Tad izsolē tika ieķerta atbilstoša mātesplate un pāris nvidia 3gb videokartes.
Par cik dotajā kastē bija atbilstoši daudz vietas diskiem, tad tanī vēl tika iekrāmēti bez maz vai visi kādreiz datoros un mājas NAS izmantotie diski.
Un tam visam uzinstlēts OMV. Nācās gan nedaudz pacīnīties ar BIOSu, jo gribēju, lai OS stāv uz viena SATA SSD, nevis noklusētā NVME SSD, ko gribēju izmantot citiem nolūkiem.
Kā arī ar NVIDIA videokaršu instalācijām, lai tās darbojas ar docker compose un nepazūt pēc sistēmas atjauninājumiem.
Pārējais uz OMV ir ļoti vienkārši, ja to esam apguvuši un sakonfigurējuši Docker compose izmantošanu. Tad atliek tikai iet uz Services -> Compose -> Files podziņa “Add from example”:
un izvēlēties open-webui:
Lai tas darbotos ar manām vidoekartēm (GPU), tad piedāvāto docker compose faila konfigurāciju papildināju ar:
# To use GPUs
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all # This will pass both of your 1060s
capabilities: [gpu]
Tālāk kā parasti: “check” un “up”.
Kad konteinera dati novilkušies un tas ir palaidies, tad jau tiekam pie savu MI web saskarnes uz OMV servera datora 3013 porta, kur pie pirmās palaišanas piereģistrējam savu sākotnējo lietotāju. Šīnī brīdī arī mums vēl nav neviena valodu (MI) modeļa un to vajag novilk. Tas izdarāms caur lietotāja profila podziņu un pārslēdzoties uz administratora iestatījumu režīmu, kur atrodam Savienojumu sadaļu, kurā pret Ollama API savienojumu adreses ir necila podziņa pārvaldīt (bultiņa uz leju):
Tālāk lodziņā varam izmantot saiti un apskatīt piejamos modeļus, izvēlēties tos un nokopējot to nosaukumus un ieliekot formā tos novilkt:
